Sau Chiến tranh Triều Tiên, Mỹ và Pháp đã nhiều lần đàm phán về vấn đề các đơn vị Trung Hoa Dân quốc đang bị quản thúc tại Việt Nam. Phía Mỹ cho rằng lực lượng của Hoàng Kiệt có thể tham gia bên phía Pháp, cùng [chiến đấu chống lại Việt Minh. Tuy nhiên, Pháp lo ngại rằng điều này sẽ khiến Quân Giải phóng Nhân dân Trung Quốc tiến vào Việt Nam, vì vậy vấn đề này đã bị bỏ qua.

Năm 1951, cuộc chiến của Pháp ở miền Bắc Việt Nam trở nên tồi tệ, và nhiều đơn vị bắt đầu rút quân về phía Nam. Để tránh cái cớ để phía Trung Quốc cho quân xâm nhập biên giới, người Pháp đã cho chuyển hết các trại Hoàng Kiệt đến hai trại Dương Đông [7] và Qiaoduo [8] đảo Phú Quốc.Một bộ phận nhỏ vẫn bị quản thúc ở Vịnh Cam Ranh. Do hai trại không có sẵn cơ sở hạ tầng nên các binh sĩ của Hoàng Kiệt phải tự xây dựng và tổ chức lấy, với sự hỗ trợ kinh phí từ chính phủ Trung Hoa Dân quốc, xây dựng bệnh viện quân đội và trường học, sửa chữa sân bay và các phương tiện giao thông khác để thuận tiện cho việc di chuyển. Nhờ đó, các khu vực xung quanh hai trại dần trở nên thịnh vượng.

Mặc dù vậy, ngay cả khi tình hình quốc tế có thay đổi, thái độ của Pháp đối với những người tị nạn Phú Đài vẫn không thay đổi. Hàng chục ngàn binh lính và người tị nạn Phú Đài vẫn bị quản thúc chặt chẽ [9]. Cuối năm 1951, những người tị nạn Phú Đài tổ chức biểu tình và tuyệt thực, nhằm phản đối thái độ của người Pháp. Trước tình hình đó, tháng 1 năm 1952, Bộ Ngoại giao Trung Hoa Dân Quốc phản đối Pháp về vấn đề bộ đội Phú Đài, thậm chí, Bộ Quốc phòng Trung Hoa Dân Quốc thông qua các cố vấn Mỹ tại Đài Loan nhờ can thiệp với Pháp về vấn đề này.[10]